انتخاب متغیر بیزی در مدل های رگرسیون خطی

یکی از موضوعات مهم در آمار، مسأله ی انتخاب متغیر است. مدل رگرسیونی لاسو که به طور همزمان برای انتخاب متغیر و برآورد ضرایب به کار می رود، در سال های اخیر مورد توجه ویژه ای قرار گرفته است. این مدل رگرسیونی به صورت های مختلفی از دیدگاه آمار بیزی و فراوانی گرا مورد مطالعه قرار گرفته است. پارک و کسلا ‎(2008)‎ همانند حالت کلاسیک تنها از یک پارامتر به منظور انقباض برآوردگرها و کنترل تعداد پارامترهای مدل استفاده کرده و توزیع پیشینی نرمال را برای بردار ضرایب به کار بردند. اما چن و همکاران ‎(2011)‎ از توزیع پیشینی لاپلاس برای ضرایب رگرسیونی استفاده کرده و دو پارامتر جداگانه برای کنترل تعداد پارامترهای مدل و میزان انقباض پارامترها به صفر مورد استفاده قرار دادند. توجه کنیم روش مرسوم انتخاب متغیر در مدل های رگرسیون خطی، استفاده از معیار مجموع مربعات تاوانیده است. جورج و فوستر ‎(2000)‎ با تعریف توزیع پیشینی دوجمله ای برای تعداد پارامترهای مدل و توزیع پیشینی نرمال چندمتغیره برای بردار ضرایب رگرسیونی نشان دادند، استنباط بیزی براساس توزیع پسینی حاصل، منطبق بر استنباط حاصل از معیار مجموع مربعات تاوانیده در آمار کلاسیک است. آنها به منظور استنباط بیزی از روش های بیز تجربی استفاده کردند. چن و همکاران ‎(2011)‎ بدین منظور با تعریف توزیع های پیشینی برای ابرپارامترها از روش های عددی ‎mcmc‎ بهره بردند.‎ گفتنی است در مسائل انتخاب متغیر برای مدل های رگرسیونی خطی از دیدگاه آمار بیزی برای تعریف توزیع های پیشینی، اغلب از توزیع های عنوان شده توسط جورج و فوستر ‎(2000)‎ استفاده می شود. مدل پروبیت یکی از این مدل ها است. لی و همکاران ‎(2003)‎ انتخاب متغیر بیزی در مدل پروبیت را مورد مطالعه قرار داده و از توزیع پیشینی دوجمله ای برای تعداد ضرایب غیرصفر مدل و از توزیع پیشینی نرمال چندمتغیره برای بردار ضرایب استفاده کردند. باراگاتی ‎(2011)‎ نیز با افزودن اثرهای تصادفی به مدل پروبیت از توزیع های پیشینی عنوان شده، استفاده کرد.